Assessing the Performance of the SRR Loop Scheduler with Irregular Workloads

The input workload of an irregular application must be evenly distributed among its threads to enable cutting-edge performance. To address this need in OpenMP, several loop scheduling strategies were proposed. While having this ever-increasing number of strategies at disposal is helpful, it has become a non-trivial task to select the best one for a particular application. Nevertheless, this challenge becomes easier to be tackled when existing scheduling strategies are extensively evaluated. Therefore, in this paper, we present a performance and scalability evaluation of the recently-proposed loop scheduling strategy named Smart Round-Robin (SRR). To deliver a comprehensive analysis, we coupled a kernel benchmarking technique with several rigorous statistical tools, and considered OpenMP’s Static and Dynamic loop schedulers as our baselines. Our results unveiled that SRR performs better on irregular applications with symmetric workloads and coarse-grained parallelization, achieving up to 1.9x and 1.5x speedup over OpenMP’s Static and Dynamic schedulers on synthetic kernels, respectively. On a N-Body Simulations application kernel, SRR delivered 2.48x better performance in contrast to OpenMP’s Dynamic scheduler. Key-words: Loop Scheduling, Irregular Workloads, Kernel Benchmarking, OpenMP, SRR. ∗ Federal University of Santa Cararina (UFSC) † Pontifical Catholic University of Minas Gerais (PUC Minas) ‡ Grenoble Institute of Technology (Grenoble INP) § University of Grenoble Alpes (UGA) Assessing the Performance of the SRR Loop Scheduler with Irregular Workloads Résumé : La charge de calcul d’une application irrégulière doit être distribuée équitablement entre les différents flots d’exécution (threads) pour obtenir un haut niveau de performance. Pour atteindre cet objectif avec OpenMP, plusieurs stratégies d’ordonnancement des boucles ont déjà été proposées dans la littérature. Pouvoir disposer de nombreuses stratégies d’ordonnancement est vraiment utile pour aider le programmeur à choisir la meilleure stratégie par rapport aux spécificités et caractéristiques de son application. Il est donc important de pouvoir évaluer les stratégies d’ordonnancement précisément.Dans ce rapport, nous présentons une analyse détaillée et rigoureuse de la stratégie SRR (Smart Round Robin) qui avait été proposée dans un précédent article. Cette analyse complète est basée sur le couplage de d’analyse comparative de noyaux avec des outils statistiques. La stratégie SRR a ainsi été comparée aux stratégies statique et dynamique qu’on retrouve dans OpenMP. Les résultats montrent, que sur des applications irrégulières (noyaux synthéqtiques) avec des charges de calcul symétriques et parallélisation grossière, SRR permet d’améliorer entre 1.5 et 1.9 les performances. Sur le noyau d’une application réelle (Simulation N-Body), SRR améliore les performances d’un facteur 2.48 par rapport à l’ordonnanceur dynamique OpenMP. Mots-clés : Ordonnancement de Boucle, Charges de Travail Irrégulières, Kernel Benchmarking, OpenMP, SRR. Assessing the Performance of the SRR Loop Scheduler 3